Google DeepMind 近日發布一份AI控制路線圖，旨在透過系統級安全措施及可信賴的AI監督者，監控並管理其強大AI代理人的行為，以防範潛在風險，強調AI安全正從哲學討論轉向資訊安全實踐。
Google DeepMind 近日發布一份 AI Control Roadmap（AI控制路線圖），旨在強化內部強大 AI 代理人的安全性與管理。這份藍圖強調，除了透過對齊（alignment，即訓練模型使其行為符合預期）來保障 AI 的方式外，還需增設系統級的安全機制，以全面防範潛在風險。
該控制路線圖的核心理念之一是透過可信賴的 AI 監督者，對 AI 代理人的推論過程、實際行動與執行計畫進行全面監控。這些控制措施將根據風險程度進行調整，對於低風險行為，可能僅需延遲審查；但對於具有潛在危險性的行動，則會實施即時阻擋。Google DeepMind 表示，此概念借鑒了資安領域的經驗，因為資安領域早已深知「即使是可信賴的系統，也可能遭受入侵」的教訓。
未來的 AI 代理人架構預計將結合多種安全元素，包括模型評估（model evals）、存取控制（access control）、稽核日誌（audit logs）、沙盒（sandboxing，即在隔離環境中執行）以及由 AI 監督其他 AI 的機制。為確保這些控制措施的有效性，Google DeepMind 也定義了具體的衡量指標：覆蓋率（監控的代理人流量比例）、召回率（捕獲不良行為的比例）以及反應時間（系統阻止不良行為的速度）。
此發展也反映了整個產業對 AI 安全的重視，例如 OpenAI 的 Dean Ball 已加入該公司，領導一個 Strategic Futures team（策略未來團隊），專注於前瞻 AI 政策的制定。這顯示 AI 安全的焦點正從抽象的哲學探討，轉向更具體的資訊安全實踐。